81a9b072fb682a9ae665c73173e56235785e984d
LM 1

 

challenge
Evaluation of translation quality assessment metrics (blind)
submitter
Krzysztof Wróbel
submitted
2021-08-26 14:47:40.989335 UTC
file basename
out

test-B / 421f71bbe9da180e21631d5a0c7f1ef05550e077
Metric Score
Pearson 0.3031

test-A / 1598114fc3c1c4b014d1ca0b720928cc6368b03b
Metric Score
Pearson 0.4651

worst items

note: the gold standard is taken from the challenge
# input expected output actual output test-B Pearson
1 Mamy globalne obchody i faktycznie zaczęliśmy wiedzieć, że widzieliśmy najgorsze z nich. 3.916666667 -79.11809539794922 15 -79.11809539794922 4.3596111030842273e-35 195.30055764361668 4.3596111030842273e-35 NaN
2 I to jest ten materiał pośrodku, który jest tym, co robisz, jeśli nie zatrzymujesz emisji wystarczająco szybko. 4.333333333 -80.77911376953125 23 -80.77911376953125 8.280882776673345e-36 33.519768902857884 8.280882776673345e-36 NaN
3 Po prostu zatonęło pod powierzchnią. Nie pozwolono nam o tym mówić. 4.166666667 -88.98535919189453 17 -88.98535919189453 2.2602138549087523e-39 187.62267415623225 2.2602138549087523e-39 NaN
4 Więc teraz są w tym razem. 4.5 -24.931537628173828 7 -24.931537628173828 1.4872048145732637e-11 35.22120206249604 1.4872048145732637e-11 NaN
5 Cóż, wiesz, że ta druga grupa się mylisz. 3.166666667 -51.01537322998047 12 -51.01537322998047 6.987227984724292e-23 70.19528211949847 6.987227984724292e-23 NaN
6 I to jest jeden z podstawowych powodów, dla których tak trudno jest mówić o tym problemie i ogólnie myślę, że jest to podstawowy powód, dla … 4.25 -29.853445053100586 38 -29.853445053100586 1.083461659760708e-13 2.1937600185490886 1.083461659760708e-13 NaN
7 Wśród nich znalazłem jedną część, która faktycznie przypominała zarys Stanów Zjednoczonych Ameryki, który możesz tu zobaczyć. 3.75 -58.76072692871094 20 -58.76072692871094 3.023712826827015e-26 18.878738588500088 3.023712826827015e-26 NaN
8 To oznaczało, że była nietrzymała moczu, nie mogła kontrolować swoich odchodów. 3.5 -70.75714874267578 17 -70.75714874267578 1.8644929512764744e-31 64.21168607088272 1.8644929512764744e-31 NaN
9 Tamtejsi lekarze i pielęgniarki zauważyli, że nie tylko przeżyła, ale była naprawdę sprytna i zrobili z niej pielęgniarkę. 4.5 -97.79878234863281 25 -97.79878234863281 3.361464190750415e-43 49.99641455441868 3.361464190750415e-43 NaN
10 Pomyślałem, że to dziecko jest zabawką, stąd tytuł mojego wykładu i zastanawiałem się, czy możesz użyć tej samej fizyki, która sprawia, że ​… 2.666666667 -198.98397827148438 56 -198.98397827148438 3.8225770630515442e-87 34.92787867671709 3.8225770630515442e-87 NaN
11 Chodzi mi o to, że świat zmienił się nieproporcjonalnie do tego, co rozpoznalibyśmy nawet 1000 lub 2000 lat temu. 3.75 -61.21217346191406 24 -61.21217346191406 2.6054985762458587e-27 12.813601546701602 2.6054985762458587e-27 NaN
12 Czy komórki będą to tolerować Czy system odpornościowy zareaguje. 4.083333333 -90.7685775756836 13 -90.7685775756836 3.799335352047082e-40 1077.2839323545438 3.799335352047082e-40 NaN
13 Dwie inne osoby, które znasz, są bardzo dobre w wykonywaniu drewnianych trzonów, ale groty do strzał są beznadziejne. 3.583333333 -112.87673950195312 25 -112.87673950195312 9.511628928524874e-50 91.38392430177316 9.511628928524874e-50 NaN
14 A wszystko to z powodu kumulatywnej adaptacji kulturowej. 4.083333333 -58.2647819519043 11 -58.2647819519043 4.965085242054978e-26 199.69642916472432 4.965085242054978e-26 NaN
15 Google tworzy Google Zeitgeist, który sprawdza zapytania wyszukiwania, aby sprawdzić, co się dzieje, czym ludzie są zainteresowani, i publik… 4.333333333 -216.59446716308594 39 -216.59446716308594 8.59445021703861e-95 258.1922044969175 8.59445021703861e-95 NaN
16 Aby to zrobić, mózg nie odczuwa bólu, który można zadać, wykorzystując cały wysiłek włożony w Internet i komunikację, i tak dalej, na światł… 3.666666667 -322.1463623046875 65 -322.1463623046875 1.2405448949157203e-140 142.0384622173338 1.2405448949157203e-140 NaN
17 Dimitri Cóż, to wspaniały dom Milo. 4.416666667 -102.34270477294922 12 -102.34270477294922 3.573781974943349e-45 5057.151863985769 3.573781974943349e-45 NaN
18 Myślę, że dzięki temu moje operacje będą miały lepszy wynik i mniej powikłań. 4.583333333 -27.741424560546875 16 -27.741424560546875 8.95472788732294e-13 5.662350196155814 8.95472788732294e-13 NaN
19 Ta mała lista uległaby zmianie. 4.5 -35.80908203125 7 -35.80908203125 2.8074580254494184e-16 166.59790378346293 2.8074580254494184e-16 NaN
20 Tak więc najbardziej zdumiewającą rzeczą w tym i zakończę na tej notatce jest to, że najbardziej pojawiające się systemy, większość samoorga… 3.416666667 -204.85110473632812 65 -204.85110473632812 1.0821702766114869e-89 23.37239108203469 1.0821702766114869e-89 NaN
21 Teraz ta technologia obejmuje trzy duże elementy. 4.666666667 -30.229103088378906 8 -30.229103088378906 7.441617369087032e-14 43.75639992247092 7.441617369087032e-14 NaN
22 A odpowiedź brzmi, że te wariacje są absolutnie niewiarygodne. 4.166666667 -45.041500091552734 13 -45.041500091552734 2.746155046234661e-20 31.96785211020887 2.746155046234661e-20 NaN
23 Niestety, nawet wtedy nie jest możliwe podsumowanie każdego TEDTalk indywidualnie. 2.833333333 -90.55520629882812 15 -90.55520629882812 4.702985034940442e-40 418.64100104950427 4.702985034940442e-40 NaN
24 A teraz weź to razem, a otrzymasz 23 miliony słów TEDTalks, czyli około trzech Biblii. 3.583333333 -137.097412109375 23 -137.097412109375 2.879721160724641e-60 387.9036748996851 2.879721160724641e-60 NaN
25 Więc wymyśliliśmy kilka nowych rzeczy. Mamy moskitiery do łóżek. 4.583333333 -97.21212005615234 15 -97.21212005615234 6.0438361988264e-43 652.4979541198908 6.0438361988264e-43 NaN
26 To po części powód, dla którego tu jesteśmy, po części powód, dla którego odnieśliśmy sukces. 4.083333333 -18.764644622802734 20 -18.764644622802734 7.089545358398873e-09 2.5554599605197446 7.089545358398873e-09 NaN
27 W rezultacie masz dwie możliwości. 4.75 -14.393693923950195 6 -14.393693923950195 5.60916421419091e-07 11.011596968667435 5.60916421419091e-07 NaN
28 Roboty Davida Hansona, które okazują emocje. 4.5 -56.36574935913086 9 -56.36574935913086 3.316393726903858e-25 524.7180338347898 3.316393726903858e-25 NaN
29 Więc teraz mogłem uporządkować zdjęcia, które chciałem uporządkować od dawna. 4.583333333 -37.78720474243164 12 -37.78720474243164 3.8835195324602194e-17 23.311195262275945 3.8835195324602194e-17 NaN
30 Cóż, jaka jest historia tej choroby. 4.833333333 -25.279884338378906 8 -25.279884338378906 1.0497496262611755e-11 23.570255154864622 1.0497496262611755e-11 NaN
31 Niestety jest anonimowy. Jego imię nie jest wymienione. 4.833333333 -40.81242370605469 11 -40.81242370605469 1.8853396075671462e-18 40.86280912041354 1.8853396075671462e-18 NaN
32 Mogę tu pokazać bardzo dobry przykład. 5 -13.227659225463867 7 -13.227659225463867 1.8001164054407079e-06 6.617155558286106 1.8001164054407079e-06 NaN
33 Jeśli zostanie trafiony, nie przechodź przez ulicę. 4 -54.75922393798828 11 -54.75922393798828 1.6533744056196326e-24 145.19987871436695 1.6533744056196326e-24 NaN
34 Ale myślę, że z punktu widzenia neandertalczyka byłoby wiele dezaprobaty dla mięczaków, które mamy teraz. 4.166666667 -187.8214569091797 26 -187.8214569091797 2.692636207013807e-82 1371.831776399432 2.692636207013807e-82 NaN
35 Powiedziała, że ​​to duża przeszkoda tylko po to, aby rolnicy dotykali pod sromem. 3.833333333 -121.49856567382812 20 -121.49856567382812 1.713339268428509e-53 434.8183178334524 1.713339268428509e-53 NaN
36 Masters i Johnson byli sceptykami do dupy, co też jest naprawdę zabawne. 3.833333333 -117.49714660644531 18 -117.49714660644531 9.36779955457677e-52 683.7683946112494 9.36779955457677e-52 NaN
37 A więc porządkowanie sztuki, mam na myśli, muszę powiedzieć, że jest to stosunkowo nowy termin. 4.333333333 -52.92320251464844 20 -52.92320251464844 1.0369198377795217e-23 14.099793131228576 1.0369198377795217e-23 NaN
38 To była taka piękna maszyna, ponieważ robiła wszystko, co robił człowiek przy ustawianiu czcionek, łącznie z przywracaniem czcionki na jej m… 4.25 -164.8443603515625 36 -164.8443603515625 2.5645072220566006e-72 97.41790367929883 2.5645072220566006e-72 NaN
39 Teraz, zgodnie z dzisiejszym dniem, jest temat, na który chciałbym zwrócić uwagę i coś, co już wiesz, że czasami niewielka przewaga w jakimś… 4 -76.02020263671875 39 -76.02020263671875 9.657072274166428e-34 7.023319468557172 9.657072274166428e-34 NaN
40 Poproszę twojego listonosza, który przygotuje plany kolacji. 3.583333333 -70.65486145019531 11 -70.65486145019531 2.0653019378897363e-31 615.9521135356791 2.0653019378897363e-31 NaN

dev-0 / 3b0c953f27e84089616a8f770371ee25a1ecf040
Metric Score
Pearson 0.4492

worst items

note: the gold standard is taken from the challenge
# input expected output actual output test-B Pearson
1 Wskakujemy w ramiona Big Placebo. 4.5 -84.9782943725586 9 -84.9782943725586 1.242784054585992e-37 12607.317874772247 1.242784054585992e-37 NaN
2 Nie, mówię poważnie. 4.75 -2.8641574382781982 5 -2.8641574382781982 0.05703116316925076 1.7732809728401768 0.05703116316925076 NaN
3 Najbardziej bezmyślną epidemią, w której obecnie się znajdujemy, jest absurdalna walka między zwolennikami genetycznie modyfikowanej żywnośc… 4.666666667 -158.06405639648438 30 -158.06405639648438 2.2576287123131133e-69 194.18316825523368 2.2576287123131133e-69 NaN
4 Teraz mam na to plan i wymaga to przekonania większej liczby osób, w tym was wszystkich, do spędzania więcej czasu na graniu w większe i lep… 4.75 -53.72625732421875 31 -53.72625732421875 4.64496997190253e-24 5.658195782043118 4.64496997190253e-24 NaN
5 Przyciemniają twój mocz. Prawie nigdy nie robią więcej. 4 -93.6324462890625 13 -93.6324462890625 2.167430844893349e-41 1342.7779826696487 2.167430844893349e-41 NaN
6 W prawdziwym życiu nie otrzymuję takiej informacji zwrotnej. 4.75 -48.61674118041992 11 -48.61674118041992 7.691615699762191e-22 83.0716712044134 7.691615699762191e-22 NaN
7 Stworzyliśmy tę grę w 2007 roku. 5 -34.68891143798828 8 -34.68891143798828 8.605917516188644e-16 76.4100269031298 8.605917516188644e-16 NaN
8 Jest to jedno z wyjaśnień dotyczących dominacji jaźni pamiętającej. 4.083333333 -79.11531066894531 12 -79.11531066894531 4.371768358042646e-35 729.9255595659166 4.371768358042646e-35 NaN
9 Bez strachu, bez agonii. Puff po polio zniknął. 4 -109.68997955322266 15 -109.68997955322266 2.3027519564295018e-48 1499.1676057323652 2.3027519564295018e-48 NaN
10 Nie tak jak ja jestem projektantem gier, jestem żywiołowy. 4.25 -64.8002700805664 13 -64.8002700805664 7.20444081866217e-29 146.15038999979524 7.20444081866217e-29 NaN
11 Nie podoba mi się to pytanie. 4.416666667 -5.393747329711914 7 -5.393747329711914 0.004544910108246308 2.1609227570648883 0.004544910108246308 NaN
12 Istnieją instrukcje krok po kroku na ten temat. 4.75 -24.69272232055664 10 -24.69272232055664 1.888369394359787e-11 11.813845983901656 1.888369394359787e-11 NaN
13 To jest sieć ekologiczna. 4.666666667 -19.314443588256836 5 -19.314443588256836 4.091134226857768e-09 47.602663599828105 4.091134226857768e-09 NaN
14 To sukces, powiedział. 4.666666667 -17.625621795654297 5 -17.625621795654297 2.2145715381795674e-08 33.957996340585574 2.2145715381795674e-08 NaN
15 Możesz od razu przejść do konkretnego problemu. 4.666666667 -11.024798393249512 8 -11.024798393249512 1.6292618699284146e-05 3.967355687739212 1.6292618699284146e-05 NaN
16 Najlepiej, jeśli uda się wielu osobom, ponieważ wtedy możesz użyć kombinacji tych rzeczy. 4.25 -27.86376190185547 16 -27.86376190185547 7.923589374940773e-13 5.705810940954153 7.923589374940773e-13 NaN
17 Na linii była długa przerwa i powiedział, że na świecie jest po prostu za dużo kurczaka. 4.666666667 -52.683284759521484 19 -52.683284759521484 1.3180750533551998e-23 16.00345219297522 1.3180750533551998e-23 NaN
18 Potem spędzają trochę czasu na planowaniu, organizowaniu szkiców i układaniu spaghetti. 4.25 -119.68335723876953 17 -119.68335723876953 1.0523940294747905e-52 1141.6130354007737 1.0523940294747905e-52 NaN
19 Powiedział, Fish. Nie wiem nic o rybach. 4 -75.53025817871094 12 -75.53025817871094 1.5762520204315745e-33 541.4161363312801 1.5762520204315745e-33 NaN
20 I wtedy zdałem sobie sprawę, że kiedy mówi Farma, która nie ma zanieczyszczeń, zrobił duże niedomówienie, ponieważ woda, która przepływa prz… 4.25 -222.81358337402344 44 -222.81358337402344 1.711158534041666e-97 158.21345094918053 1.711158534041666e-97 NaN
21 Wątek, który łączy ich wszystkie nasze uzależnienie od paliw węglowych, takich jak brudny węgiel i obcy olej. 4.166666667 -134.00604248046875 24 -134.00604248046875 6.33745967628029e-59 266.0236204045963 6.33745967628029e-59 NaN
22 Nie dziedziczymy tożsamości, ale możemy ją wymyślić. 4.5 -48.59394836425781 10 -48.59394836425781 7.868942494017252e-22 128.94614498111713 7.868942494017252e-22 NaN
23 Zachęcam was wszystkich do przeczytania książki Steve'a lub obejrzenia filmu, aby zrozumieć nie tylko piękną więź, która utworzyła się międz… 4.25 -351.6668701171875 65 -351.6668701171875 1.8750758480574142e-153 223.68963661463803 1.8750758480574142e-153 NaN
24 Psycholog Barry Schwartz celuje w centralną zasadę wolności wyboru społeczeństw zachodnich W Schwartz jest to ocena szacunkowa, która nie uc… 3.666666667 -384.6039733886719 52 -384.6039733886719 9.302863298455823e-168 1629.828799779329 9.302863298455823e-168 NaN
25 Tak więc w innych aspektach życia, które są znacznie ważniejsze niż kupowanie rzeczy, prawdziwa jest ta sama eksplozja wyboru. 4 -93.69525146484375 25 -93.69525146484375 2.0354915709126743e-41 42.42806520978704 2.0354915709126743e-41 NaN
26 A jednak Ole dla ciebie. 3.333333333 -45.62928009033203 7 -45.62928009033203 1.5256518625013907e-20 677.5399950754447 1.5256518625013907e-20 NaN
27 Ale nawet ja, w swojej niemoralności, czasami otarłem się o tę rzecz. 4.083333333 -56.42060470581055 17 -56.42060470581055 3.139371494947606e-25 27.628810869250255 3.139371494947606e-25 NaN
28 A kiedy to się wydarzyło, ludzie wiedzieli, jak to było, wiesz, nazywali to po imieniu. 4.416666667 -37.78177261352539 21 -37.78177261352539 3.904672712555322e-17 6.044398825319491 3.904672712555322e-17 NaN
29 Poszukiwania te zaprowadziły mnie do starożytnej Grecji i starożytnego Rzymu. 5 -62.056114196777344 15 -62.056114196777344 1.1203972546402689e-27 62.619346494007495 1.1203972546402689e-27 NaN
30 Innymi słowy, kiedy zobaczyliśmy to zdjęcie 10 września, wiedzieliśmy, że maszyna działa, co jest wielkim triumfem. 4.25 -59.72697830200195 23 -59.72697830200195 1.1505431277034423e-26 13.421060383223066 1.1505431277034423e-26 NaN
31 A co z polityką globalną. 4.5 -33.896793365478516 7 -33.896793365478516 1.900245388038337e-15 126.77312254335976 1.900245388038337e-15 NaN
32 Jak się okazuje, jest pewien wzorzec. 4.666666667 -27.642501831054688 9 -27.642501831054688 9.885849367998904e-13 21.571847159996913 9.885849367998904e-13 NaN
33 A jeśli połączysz je w różne kombinacje, tak jak drukowanie w sensie, w jakim drukowany jest kolor magazynu, i poddasz je pewnym siłom, któr… 4 -268.082275390625 57 -268.082275390625 3.744097087158651e-117 110.2993258055711 3.744097087158651e-117 NaN
34 I to, co widzisz, na przykład, gdyby flaga znajdowała się w miejscu, w którym znajdował się krzyż w małym kwadratowym otoczeniu, a następnie… 4 -267.1598205566406 71 -267.1598205566406 9.418118402346169e-117 43.0694691642797 9.418118402346169e-117 NaN
35 Wysadzenie tego proszku w nos przypomina raczej wystrzelenie z lufy karabinu wyłożonej barokowymi obrazami i lądowanie na morzu elektrycznoś… 3.833333333 -267.4654235839844 31 -267.4654235839844 6.938130073257346e-117 5585.431057454205 6.938130073257346e-117 NaN
36 W wieku dwóch lat został przemycony do więzienia, aby ukryć się pod jej spódniczkami, ponieważ nie mogła znieść bez niego. 3.833333333 -98.73564910888672 26 -98.73564910888672 1.3172021316754498e-43 44.59068433186177 1.3172021316754498e-43 NaN
37 Kreator map Google to technologia, która umożliwia każdemu z nas mapowanie tego, co znamy lokalnie. 4.333333333 -88.46289825439453 21 -88.46289825439453 3.811109569660183e-39 67.52642241670195 3.811109569660183e-39 NaN
38 We wczesnych latach 80-tych miałem naprawdę zadziwiające zadanie, kiedy mój profesor z Harvardu zapytał mnie, czy byłbym zainteresowany zejś… 4.166666667 -484.31329345703125 68 -484.31329345703125 4.628168255761562e-211 1239.2409270426585 4.628168255761562e-211 NaN
39 Dr King uważał, że na tym świecie istnieją dwa rodzaje praw, które zostały ustanowione przez wyższy autorytet i te, które zostały ustanowion… 4.333333333 -43.6003303527832 30 -43.6003303527832 1.1604251123007815e-19 4.27739570858628 1.1604251123007815e-19 NaN
40 Tak więc razem to tak, jakby szczur mógł umieścić wirtualną siatkę miejsc strzelania w swoim otoczeniu, trochę podobną do linii szerokości i… 3.666666667 -191.85227966308594 42 -191.85227966308594 4.782044374190364e-84 96.34268015322672 4.782044374190364e-84 NaN

Compare with other submission